技術 【Day 12】機器學習的訓練過程 - Part 4. 區域極小值與鞍點

零、前言 在上一篇中，我們透過實際計算 Loss Function 並執行梯度下降法時，發現設定學習率會直接影響到機器訓練時的表現，對此我們可以透過更改學習率進...

技術 【Day 11】機器學習的訓練過程 - Part 3. 最佳化與學習率

零、前言 在上一篇中，我們從一些數學方法中，了解到一些基礎的 Loss Function ，如 BCE 與 CCE 是如何定義的，並且知道可以透過 Softma...

技術 【Day 19】神經網路簡介與梯度下降法

今日大綱 神經網路簡介 梯度下降法 (Gradient descent) 激活函數 (Activation function) 程式碼 神經網路簡介 下圖為...

技術 [Day18] Optimizer and Learning Rate

前言 經過前面的文章，目前在單一個Step的訓練節點內，能做的優化其實已經做的差不多了。接下來大概就是訓練次數以及一些超參數的調整。讓我們先回到一組很基礎但又很...

技術 課堂筆記 - 深度學習 Deep Learning (19)

Gradient Descent Method 統整一下到底要如何Gradient Descent去計算Logistic Regression：首先我們...

技術 課堂筆記 - 深度學習 Deep Learning (11)

Gradient Descent – one weight with Bias 上篇的說明當 b=0 時該如何校正w的, 其實基本上大同小異，都是用相同...

技術 課堂筆記 - 深度學習 Deep Learning (10)

在上一篇Error Function中，可以看到依照w的不同決定了線的偏差值多寡，此篇要介紹的是當隨便取了一個值w之後該如何對w進行校正。 Gradient...

技術 Gradient Descent

今天來聊聊在ML裏面一天到晚聽到的gradient descent!Gradient descent是用來解決Optimization問題的常見算法，也因為只是...

技術 ML_Day12(SGD, AdaGrad, Momentum, RMSProp, Adam Optimizer)

簡單回顧在ML_Day10(Gradient Descent)有介紹什麼是SGD，就是只對一個example的loss做計算，求梯度最小值。也介紹什麼是Ada...

技術 ML_Day10(Gradient Descent)

簡單回顧在ML_Day5(Linear Regression Introduction)有介紹什麼是Gradient Descent，就是對loss func...

技術 ML_Day5(Linear Regression Introduction)

簡單回顧在ML_Day2(機器學習種類)有提Regression與classificatoin的差異。所謂的線性迴歸（Linear Regression），簡...

技術 Day18-當自動駕駛遇見AI- 梯度下降法(Gradient Descent Algorithm)

前言 梯度下降法（Gradient Descent Algorithm）是一個一階最佳化算法，通常也稱為最速下降法。 要使用梯度下降法找到一個函數的局部極小值，...

技術 [第十七天] Gradient descent

參考網站1李宏毅教授視頻對Gradient descent也有詳盡解說真心推薦這一系列 看完了李教授大神的視頻後，理解Gradient descent是如何找...

技術 [Day4] 梯度下降法（Gradient Descent）

梯度下降 昨天我們提到，令我們的函數為： 則誤差為：其中 x 為輸入，y 為輸出。我們想要將誤差最小化，因此可以透過微分來求算。 首先，我們先來回想一下微分的定...